Scikit-learn Előfeldolgozás: Adattranszformációs csővezetékek elsajátítása a gépi tanuláshoz

A gépi tanulás világában az adatok minősége közvetlenül befolyásolja a modellek teljesítményét. A nyers adatok gyakran következetlenségeket, hiányzó értékeket és eltérő skálákat tartalmaznak, ami alkalmatlanná teszi őket a közvetlen felhasználásra. A Scikit-learn, egy hatékony Python könyvtár, átfogó előfeldolgozási technikákat kínál az adatok gépi tanulási algoritmusok számára megfelelő formátumba történő átalakításához. Ez a cikk a Scikit-learn előfeldolgozás világába nyúl bele, az adattranszformációs csővezetékek létrehozására és felhasználására összpontosítva a gépi tanulási munkafolyamatok egyszerűsítése érdekében.

Miért kulcsfontosságú az adat-előkészítés

Az adat-előkészítés a nyers adatok tisztításának, átalakításának és rendszerezésének folyamata, hogy alkalmasabbá váljanak a gépi tanulási modellek számára. Ez egy létfontosságú lépés, mivel a gépi tanulási algoritmusok érzékenyek a bemeneti jellemzők skálájára és eloszlására. Megfelelő előfeldolgozás nélkül a modellek gyengén teljesíthetnek, ami pontatlan előrejelzésekhez és megbízhatatlan eredményekhez vezethet. Íme néhány kulcsfontosságú ok, amiért az adat-előkészítés elengedhetetlen:

• Javított modell teljesítmény: Az előfeldolgozott adatok lehetővé teszik a modellek számára, hogy hatékonyabban tanuljanak, és nagyobb pontosságot érjenek el.
• Hiányzó értékek kezelése: Az imputációs technikák kitöltik a hiányzó adatpontokat, megakadályozva, hogy az algoritmusok összeomoljanak vagy torz eredményeket adjanak.
• Jellemzők skáláinak standardizálása: A skálázási módszerek biztosítják, hogy minden jellemző egyenlő mértékben járuljon hozzá a modellhez, megakadályozva a nagyobb értékekkel rendelkező jellemzők dominanciáját a tanulási folyamatban.
• Kategorikus változók kódolása: A kódolási technikák a kategorikus adatokat numerikus reprezentációkká alakítják, amelyeket a gépi tanulási algoritmusok megértenek.
• Zajok és kiugró értékek csökkentése: Az előfeldolgozás segíthet enyhíteni a kiugró értékek és a zajos adatok hatását, ami robusztusabb modellekhez vezet.

Bevezetés a Scikit-learn csővezetékekbe

A Scikit-learn csővezetékek módot biztosítanak arra, hogy több adattranszformációs lépést egyetlen, újrafelhasználható objektumba láncoljunk. Ez egyszerűsíti a kódot, javítja az olvashatóságot, és megakadályozza az adatvesztést a modell kiértékelése során. A csővezeték lényegében az adattranszformációk sorozata, amelyet egy végső becslő követ (pl. osztályozó vagy regresszor). Íme, miért olyan előnyösek a csővezetékek:

• Kód szervezése: A csővezetékek a teljes adat-előkészítési és modellezési munkafolyamatot egyetlen egységbe foglalják, így a kód rendezettebbé és könnyebben karbantarthatóvá válik.
• Adatvesztés megelőzése: A csővezetékek biztosítják, hogy az adattranszformációkat következetesen alkalmazzák a képzési és a teszt adatokra egyaránt, megelőzve az adatvesztést, ami túlillesztéshez és gyenge általánosításhoz vezethet.
• Egyszerűsített modellértékelés: A csővezetékek megkönnyítik a modell teljesítményének kiértékelését olyan technikákkal, mint a keresztvalidáció, mivel a teljes előfeldolgozási és modellezési munkafolyamatot következetesen alkalmazzák minden folderre.
• Egyszerűsített üzembe helyezés: A csővezetékek könnyen telepíthetők a gyártási környezetbe, biztosítva, hogy az adatokat ugyanúgy előfeldolgozzák, mint a képzés során.

Gyakori adat-előkészítési technikák a Scikit-learn-ben

A Scikit-learn nagyszámú előfeldolgozási technikát kínál. Íme néhány a leggyakrabban használt technikák közül:

1. Skálázás és normalizálás

A skálázás és a normalizálás olyan technikák, amelyek a numerikus jellemzőket hasonló értéktartományba alakítják át. Ez azért fontos, mert a különböző skálájú jellemzők aránytalanul befolyásolhatják a tanulási folyamatot. A Scikit-learn számos skálázási és normalizálási módszert kínál:

• StandardScaler: Standardizálja a jellemzőket az átlag eltávolításával és az egységvarianciára történő skálázással. Ez egy széles körben használt technika, amely feltételezi, hogy az adatok normál eloszlást követnek.

  Formula: x_scaled = (x - mean) / standard_deviation

  Példa: Tegyük fel, hogy házárak vannak USD-ben és négyzetméterben. Ezen jellemzők skálázása biztosítja, hogy a modell ne tulajdonítson túlzott fontosságot a nagyobb értékkel rendelkező jellemzőnek (pl. házárak).

• MinMaxScaler: A jellemzőket egy megadott tartományra skálázza, jellemzően 0 és 1 között. Ez akkor hasznos, ha meg szeretné őrizni az adatok eredeti eloszlását.

  Formula: x_scaled = (x - min) / (max - min)

  Példa: A képfeldolgozás gyakran használja a MinMaxScaler-t a pixelértékek normalizálására a [0, 1] tartományba.

• RobustScaler: A jellemzőket a kiugró értékekkel szemben robusztus statisztikákkal, például a mediánnal és a kvartilisekkel (IQR) skálázza. Ez jó választás, ha az adatok kiugró értékeket tartalmaznak.

  Formula: x_scaled = (x - median) / IQR

  Példa: A pénzügyi adatkészletekben, ahol a kiugró értékek gyakoriak (pl. szélsőséges tőzsdei ingadozások), a RobustScaler stabilabb eredményeket biztosíthat.

• Normalizer: A mintákat egyenként egység normára normalizálja. Ez akkor hasznos, ha a jellemzővektor nagysága fontosabb, mint az egyes jellemzők értékei.

  Formula (L2 norm): x_scaled = x / ||x||

  Példa: A szövegfeldolgozásban a TF-IDF (term frequency-inverse document frequency) vektorok normalizálása gyakori gyakorlat.

2. Kategorikus változók kódolása

A gépi tanulási algoritmusok tipikusan numerikus bemenetet igényelnek, ezért a kategorikus változókat numerikus reprezentációkká kell alakítani. A Scikit-learn számos kódolási technikát kínál:

• OneHotEncoder: Bináris oszlopokat hoz létre a jellemző minden kategóriájához. Ez a nominális kategorikus jellemzőkhöz (olyan jellemzők, amelyeknek nincs veleszületett sorrendje) alkalmas.

  Példa: A „ország” jellemző kódolása olyan értékekkel, mint „USA”, „Kanada” és „Egyesült Királyság” három új oszlopot hozna létre: „ország_USA”, „ország_Kanada” és „ország_Egyesült Királyság”.

• OrdinalEncoder: Egész számot rendel minden kategóriához a sorrendje alapján. Ez az ordinális kategorikus jellemzőkhöz (olyan jellemzők, amelyeknek van értelmes sorrendje) megfelelő.

  Példa: Az „iskolai végzettség” jellemző kódolása olyan értékekkel, mint „Középiskola”, „Bachelor's” és „Master's” olyan egész számokat rendelne hozzá, mint 0, 1, illetve 2.

• LabelEncoder: A célcímkéket 0 és n_classes-1 közötti értékekkel kódolja. Ezt használja a célváltozó kódolásához osztályozási problémákban.

  Példa: A „spam” és „nem spam” címkék kódolása 0-val és 1-gyel.

• TargetEncoder (a category_encoders könyvtárat igényli): A kategorikus jellemzőket a célváltozó átlaga alapján kódolja az egyes kategóriákhoz. Célarányvesztéshez vezethet, ha nem használják óvatosan egy kereszt-validációs beállításban.

3. Hiányzó értékek kezelése

A hiányzó értékek gyakori probléma a valós adatkészletekben. A Scikit-learn technikákat kínál a hiányzó értékek imputálására (kitöltésére):

• SimpleImputer: A hiányzó értékeket egy konstans érték, az átlag, a medián vagy a jellemző leggyakoribb értéke alapján imputálja.
• KNNImputer: A hiányzó értékeket a k-legközelebbi szomszéd algoritmus segítségével imputálja. Megtalálja a k legközelebbi mintát a hiányzó értékekkel rendelkező mintához, és ezen szomszédok átlagos értékét használja a hiányzó érték imputálásához.
• IterativeImputer: A hiányzó értékeket egy iteratív modellezési megközelítéssel imputálja. Minden, hiányzó értékekkel rendelkező jellemzőt a többi jellemző függvényeként modellezik, és a hiányzó értékeket iteratívan megjósolják.

4. Jellemzők transzformációja

A jellemzők transzformációja a meglévőkből új jellemzők létrehozását foglalja magában. Ez javíthatja a modell teljesítményét a nemlineáris kapcsolatok vagy a jellemzők közötti interakciók rögzítésével. Néhány technika a következőket tartalmazza:

• PolynomialFeatures: A jellemzők polinomkombinációit generálja. Például, ha két x1 és x2 jellemzője van, a PolynomialFeatures új jellemzőket hozhat létre, mint például x1^2, x2^2, x1*x2.
• FunctionTransformer: Egy egyéni függvényt alkalmaz a jellemzőkre. Ez lehetővé teszi önkényes transzformációk végrehajtását, például naplótranszformációkat vagy exponenciális transzformációkat.
• PowerTransformer: Teljesítményátalakítást alkalmaz az adatok Gaussian-szerűbbé tételéhez. Ez hasznos lehet az algoritmusoknál, amelyek normalitást feltételeznek, például a lineáris regressziónál. (Box-Cox és Yeo-Johnson transzformációkat tartalmaz)

Adattranszformációs csővezetékek építése a Scikit-learn-nel

Most pedig alkalmazzuk ezeket az előfeldolgozási technikákat adattranszformációs csővezetékek építésével. Íme egy lépésenkénti útmutató:

1. Importálja a szükséges könyvtárakat

Kezdje a szükséges könyvtárak importálásával a Scikit-learn-ből:

from sklearn.pipeline import Pipeline from sklearn.preprocessing import StandardScaler, OneHotEncoder, SimpleImputer from sklearn.compose import ColumnTransformer from sklearn.model_selection import train_test_split from sklearn.linear_model import LogisticRegression import pandas as pd

2. Töltse be és készítse elő az adatait

Töltse be az adatkészletét a pandas vagy bármely más megfelelő módszer segítségével. Azonosítsa a numerikus és kategorikus jellemzőket az adatkészletében. Például:

data = { 'age': [25, 30, 35, 40, 45, None], 'country': ['USA', 'Canada', 'USA', 'UK', 'Canada', 'USA'], 'salary': [50000, 60000, 70000, 80000, 90000, 55000], 'purchased': [0, 1, 0, 1, 0, 1] } df = pd.DataFrame(data)

3. Határozza meg az előfeldolgozási lépéseket

Hozzon létre az előfeldolgozó transzformerek példányait, amelyeket használni szeretne. Például a numerikus jellemzők kezeléséhez használhatja a StandardScaler-t és a SimpleImputer-t. A kategorikus jellemzőkhöz használhatja a OneHotEncoder-t. Fontolja meg a hiányzó értékek kezelésére szolgáló stratégiák felvételét a skálázás vagy kódolás előtt.

numerical_features = ['age', 'salary'] categorical_features = ['country'] numerical_transformer = Pipeline(steps=[ ('imputer', SimpleImputer(strategy='mean')), ('scaler', StandardScaler()) ]) categorical_transformer = Pipeline(steps=[ ('onehot', OneHotEncoder(handle_unknown='ignore')) ])

4. Hozzon létre egy ColumnTransformer-t

Használja a ColumnTransformer-t, hogy különböző transzformereket alkalmazzon az adatai különböző oszlopaira. Ez lehetővé teszi a numerikus és kategorikus jellemzők külön előfeldolgozását.

preprocessor = ColumnTransformer( transformers=[ ('num', numerical_transformer, numerical_features), ('cat', categorical_transformer, categorical_features) ])

5. Építse fel a csővezetéket

Hozzon létre egy Pipeline objektumot, amely az előfeldolgozási lépéseket egy gépi tanulási modellel láncolja. Ez biztosítja, hogy az adatokat következetesen előfeldolgozzák, mielőtt a modellbe kerülnek.

pipeline = Pipeline(steps=[('preprocessor', preprocessor), ('classifier', LogisticRegression())])

6. Képezze és értékelje a modellt

Ossza fel az adatait képzési és tesztkészletekre. Ezután képezze a csővezetéket a képzési adatokon, és értékelje a teljesítményét a teszt adatokon.

X = df.drop('purchased', axis=1) y = df['purchased'] X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.2, random_state=42) pipeline.fit(X_train, y_train) score = pipeline.score(X_test, y_test) print(f'Model accuracy: {score}')

Teljes példakód

Íme a teljes kód adattranszformációs csővezeték építéséhez és képzéséhez:

import pandas as pd from sklearn.pipeline import Pipeline from sklearn.preprocessing import StandardScaler, OneHotEncoder, SimpleImputer from sklearn.compose import ColumnTransformer from sklearn.model_selection import train_test_split from sklearn.linear_model import LogisticRegression # Példa adatok data = { 'age': [25, 30, 35, 40, 45, None], 'country': ['USA', 'Canada', 'USA', 'UK', 'Canada', 'USA'], 'salary': [50000, 60000, 70000, 80000, 90000, 55000], 'purchased': [0, 1, 0, 1, 0, 1] } df = pd.DataFrame(data) # Jellemzők meghatározása numerical_features = ['age', 'salary'] categorical_features = ['country'] # Transzformerek létrehozása numerical_transformer = Pipeline(steps=[ ('imputer', SimpleImputer(strategy='mean')), ('scaler', StandardScaler()) ]) categorical_transformer = Pipeline(steps=[ ('onehot', OneHotEncoder(handle_unknown='ignore')) ]) # Előfeldolgozó létrehozása preprocessor = ColumnTransformer( transformers=[ ('num', numerical_transformer, numerical_features), ('cat', categorical_transformer, categorical_features) ]) # Csővezeték létrehozása pipeline = Pipeline(steps=[('preprocessor', preprocessor), ('classifier', LogisticRegression())]) # Adatok felosztása X = df.drop('purchased', axis=1) y = df['purchased'] X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.2, random_state=42) # Modell képzése pipeline.fit(X_train, y_train) # Modell értékelése score = pipeline.score(X_test, y_test) print(f'Model accuracy: {score}')

Fejlett csővezeték-technikák

Ha már kényelmes a legalapvetőbb dolgokkal, felfedezheti a fejlettebb csővezeték-technikákat:

1. Egyéni transzformerek

Létrehozhatja saját egyéni transzformereit, hogy olyan konkrét adattranszformációkat hajtson végre, amelyek nem érhetők el a Scikit-learn-ben. Egyéni transzformerek létrehozásához örökölnie kell a TransformerMixin és BaseEstimator osztályokat, és meg kell valósítania a fit és transform metódusokat. Ez hasznos lehet a jellemzőkészítéshez vagy a domain-specifikus transzformációkhoz. Ne felejtse el a megfelelő docstringeket beépíteni az olvashatóság érdekében.

2. Jellemző unió

A FeatureUnion lehetővé teszi, hogy több transzformer kimenetét egyetlen jellemzővektorba egyesítse. Ez akkor lehet hasznos, ha különböző transzformációkat szeretne alkalmazni ugyanazokra a jellemzőkre, vagy olyan jellemzőket kombinálni, amelyeket különböző módon transzformáltak. A FeatureUnion osztály a több transzformer kimenetének egyetlen jellemzővektorba történő egyesítésére szolgál.

3. Rács keresés csővezetékekkel

A GridSearchCV segítségével optimalizálhatja a csővezeték hiperparamétereit, beleértve az előfeldolgozási lépések hiperparamétereit is. Ez lehetővé teszi az előfeldolgozási technikák és a modellparaméterek legjobb kombinációjának automatikus megtalálását. Legyen óvatos a megnövekedett számítási költséggel kapcsolatban.

Az adat-előkészítési csővezetékek legjobb gyakorlatai

Íme néhány legjobb gyakorlat, amelyet szem előtt kell tartania az adat-előkészítési csővezetékek építésekor:

• Értse meg az adatait: Mielőtt bármilyen előfeldolgozási technikát alkalmazna, szánjon időt arra, hogy megértse az adatait. Fedezze fel a jellemzők eloszlását, azonosítsa a hiányzó értékeket, és keressen kiugró értékeket.
• Dokumentálja a csővezetékét: Adjon megjegyzéseket a kódjához a csővezeték minden egyes lépésének magyarázatához. Ez megkönnyíti a kód megértését és karbantartását.
• Tesztelje a csővezetékét: Alaposan tesztelje a csővezetékét, hogy megbizonyosodjon arról, hogy helyesen működik. Használjon egységteszteket a csővezeték minden lépésének ellenőrzésére, hogy a várt kimenetet produkálja.
• Kerülje az adatvesztést: Ügyeljen arra, hogy elkerülje az adatvesztést az adatok előfeldolgozásakor. Győződjön meg arról, hogy csak a képzési adatokból származó információkat használ a képzési adatok előfeldolgozásához. Használjon csővezetékeket a képzési és a teszt adatok közötti következetesség biztosításához.
• Figyelje a teljesítményt: Figyelje a modell teljesítményét az idő múlásával, és szükség szerint képezze újra. Az adateloszlások az idő múlásával változhatnak, ezért fontos, hogy rendszeresen újraértékelje a csővezetékét, és szükség szerint módosítsa.

Valós példák

Vizsgáljunk meg néhány valós példát arra, hogy az adattranszformációs csővezetékek hogyan használhatók a különböző iparágakban:

• Pénzügy: A hitelkockázat modellezésében a csővezetékek felhasználhatók az ügyféladatok előfeldolgozására, beleértve a numerikus jellemzőket, például a jövedelmet és a hitelképességi pontszámot, valamint a kategorikus jellemzőket, például a foglalkoztatási státuszt és a hitel célját. A hiányzó értékeket olyan technikákkal lehet imputálni, mint az átlag imputáció vagy a k-legközelebbi szomszéd imputáció. A skálázás kulcsfontosságú annak biztosításához, hogy a különböző skálájú jellemzők ne dominálják a modellt.
• Egészségügy: Az orvosi diagnózisban a csővezetékek a páciens adatok előfeldolgozására használhatók, beleértve a numerikus jellemzőket, mint például az életkor, a vérnyomás és a koleszterinszint, valamint a kategorikus jellemzőket, mint például a nem és az orvosi előzmények. A one-hot kódolás felhasználható a kategorikus jellemzők numerikus reprezentációkká történő átalakítására.
• E-kereskedelem: A termékajánló rendszerekben a csővezetékek az ügyfél- és termékadatok előfeldolgozására használhatók, beleértve a numerikus jellemzőket, mint például a vásárlási gyakoriság és a termékértékelések, valamint a kategorikus jellemzőket, mint például a termékkategória és az ügyfél demográfiai adatai. A csővezetékek tartalmazhatnak olyan lépéseket, mint a szöveg-előkészítés, például a tokenizálás és a törzsképzés, a termékleírásokból és az ügyfélvéleményekből származó jellemzők kivonásához.
• Gyártás: A prediktív karbantartásban a csővezetékek a gépekből származó szenzoradatok előfeldolgozására használhatók, beleértve a numerikus jellemzőket, mint például a hőmérséklet, a nyomás és a rezgés, valamint a kategorikus jellemzőket, mint például a gép típusa és az üzemi körülmények. A RobustScaler különösen hasznos lehet itt a lehetséges kiugró értékek miatt.

Kihívások kezelése a globális adatkészletekben

Globális adatkészletekkel való munka során gyakran találkozik speciális kihívásokkal, amelyek az előfeldolgozás során gondos mérlegelést igényelnek. Íme néhány gyakori probléma és stratégia a megoldásukra:

• Változó adatformátumok: A dátumok, számok és pénznemek különböző formátumokkal rendelkezhetnek a régiókban. Biztosítson egységes elemzést és formázást. Például a dátumok DD/MM/YYYY vagy MM/DD/YYYY formátumban jelenhetnek meg. Használjon megfelelő könyvtárakat a dátumkonverziók és -formázások kezeléséhez.
• Nyelvi különbségek: A szöveges adatok különböző nyelveken jelenhetnek meg, ami fordítást vagy nyelvsajátos előfeldolgozási technikákat igényel. Fontolja meg olyan könyvtárak használatát, mint a Google Translate API (a megfelelő felhasználási megfontolásokkal és költségvonzatokkal) a fordításhoz vagy az NLTK a nyelvsajátos szövegfeldolgozáshoz.
• Pénznem konverzió: A pénzügyi adatok különböző pénznemekben szerepelhetnek. Konvertáljon minden értéket közös pénznemre a naprakész árfolyamok segítségével. Használjon megbízható API-kat a pontos és valós idejű árfolyamok megszerzéséhez.
• Időzónák: Az idősoros adatok különböző időzónákban rögzíthetők. Konvertáljon minden időbélyeget egy közös időzónára (pl. UTC) a következetesség biztosítása érdekében. Használjon olyan könyvtárakat, mint a pytz az időzóna-konverziók kezeléséhez.
• Kulturális különbségek: A kulturális árnyalatok befolyásolhatják az adatok értelmezését. Például az ügyfél-elégedettségi pontszámokat eltérően értelmezhetik a kultúrák. Legyen tisztában ezekkel az árnyalatokkal, és vegye figyelembe őket az előfeldolgozási lépések megtervezésekor.
• Adatminőségi problémák: Az adatminőség jelentősen eltérhet a különböző forrásokból. Hajtson végre robusztus adatérvényesítési és tisztítási eljárásokat a hibák azonosításához és kijavításához.

Következtetés

Az adat-előkészítés kritikus lépés a gépi tanulási csővezetékben. A Scikit-learn csővezetékek használatával egyszerűsítheti a munkafolyamatát, megakadályozhatja az adatvesztést, és javíthatja a modelljeinek teljesítményét. Ezen technikák elsajátítása képessé teszi Önt arra, hogy robusztusabb és megbízhatóbb gépi tanulási megoldásokat építsen a széles körű alkalmazásokhoz. Ne felejtse el az előfeldolgozási lépéseket az adatok sajátos jellemzőihez és a gépi tanulási modellje követelményeihez igazítani. Kísérletezzen különböző technikákkal, hogy megtalálja az optimális kombinációt az adott problémájához. Az adatok megfelelő előfeldolgozásába való időbefektetéssel ki tudja aknázni a gépi tanulási algoritmusok teljes potenciálját, és kiváló eredményeket érhet el.